Reasoning Reranking with Semantic IDs as the Sole Item Representation
以语义ID作为唯一物品表示的推理式重排
🧭 SID-only 推理重排 ★ 深度解读
Google · University of Toronto
构建 RERANKID 测试床,证明纯 SID 推理重排可由后训练激发;8B RLVR 在 20 倍更短提示下匹配文本 LLM,但 rationale 不可信
📌 工作参考价值(4 点)
- 候选 slate 和用户历史可只用 SID tokens 渲染,prompt token 降低 20-28 倍;长历史 (>50k 文本 tokens) 场景下,文本 LLM 停止提升,SID 模型仍保持收益。适合作为 cascade 重排中的省 token 输入,尤其是候选集大、历史长的 feed/短剧/电商猜你喜欢。
- 不要直接 zero-shot 用 SID-pretrained 模型做 slate rerank:base 模型大量返回输入顺序(identity copy)或 reasoning loop。先 SFT 解决接口,再用 RLVR + graded ranking reward(NDCG@5 作为奖励)微调;graded reward 显著优于 binary Hit@1,且只在 8B 级别有效,1.7B 无增益,说明需要模型容量。
- 固定 SID token embeddings,仅 LoRA 训练 backbone,能保留编码在 token 中的协同过滤/偏好信号;无需修改 item 编码体系即可迁移到同类 SID-pretrained 模型。
- 排序质量与 rationale 可信度可能脱节:SID 模型能排对但会幻觉物品描述。落地建议:排序用 SID 省 token,解释/文案只对 top 少数 item 检索 metadata 生成,而不是让模型在 SID-only 下描述物品。